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Lokale Scharfung fotografischer Bilder mittels Masken 



Die vorliegende Erfindung betrifft ein Verfahren zum Scharfen eines fotografischen Bil- 
des mit Hilfe einer Maske. Sie betrifft weiter eine entsprechende Vorrichtung, ein Pro- 
gramm, ein Computerprogrammmedium mit dem Programm und Bildausgabegerate, wie 
fotografische Printer oder Drucker oder fotografische Labors oder Monitor (z.B. LCD- 
oder CRT-Display) oder Computer mit Monitor, die das Verfahren oder das Programm 
oder die Vorrichtung einsetzen. 

Scharfungsverfahren sind beispielsweise aus A. Polesel, G. Ramponi, "Image Enhance- 
ment via Adaptive Unsharp Masking", IEEE Trans. Image Processing, Vol. 9, Nr. 3, 
Seiten 505-510, Marz 2000, oder N. Arad, C. Gotsman, "Enhancement by Image-De- 
pendent Wraping", IEEE Trans. Image Processing, Vol. 8, Nr. 8, Seiten 1063-1074, 
August 1999, bekannt. Die Scharfungsverfahren basieren auf einer Bestimmung der 
Scharfe (des Kontrasts) an dem Ort, an dem die Scharfung vorzunehmen ist. Der Kon- 
trast (die Scharfe) wird hierzu basierend auf H^lligkeitsdaten der benachbarten Bildele- 
mente berechnet, indem Differenzen zwischen den verschiedenen Helligkeitsdaten nach 
gewissen Vorschriften berechnet werden. 

Aufgabe der Erfindung ist es, eine lokale Scharfung von fotografischen Bilddaten zu er- 
moglichen, um das Bild global zu verbessern. 

Vorstehende Aufgabe wird durch die Gegenstande der Anspruche 1, 13, 14, 15 und 16 
gelost. 
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Das erfindungsgemaBe Verfahren setzt (insbesondere digitale) Masken zur Scharfungs- 
korrektur ein. Eine Maske bedeutet hierbei eine Zuordnung zwischen Werten (die hierin 
als Elemente der Maske bezeichnet werden) und Teilen des Bildes, wobei diese Bildteile 
einen Ort im Bild darstellen und z.B. ein Bildelement (Pixel) oder mehrere Bildelemente 
(Pixel) umfassen konnen. Die Elemente der Maske stellen somit eine Vorschrift zur lo- 
kalen Anderung der Scharfe des Bildes in einem gewissen Bildteil dar. Sie beschreiben 
insbesondere den Grad oder das AusmaB der vorzunehmenden Scharfung, insbesondere 
Kontrasterhohung oder Kontrastverminderung an den jeweiligen Orten, an denen die 
Scharfung vorgenommen wird. 

Der globale Kontrast, im folgenden auch einfach nur „ Kontrast" genannt, entspricht ins- 
besondere der Differenz (und/oder dem Verhaltnis) zwischen maximaler und minimaler 
Helligkeit im (gesamten) Bild. Bevorzugt wird der globale Kontrast basierend auf einem 
Bild ermittelt, das einem Bilddetailentfernungsverfahren unterzogen wurde. Bevorzugt 
wird der globale Kontrast basierend auf einem Bild mit einer reduzierten Auflosung er- 
mittelt. Der Vorteil liegt hierbei daran, dass die Empfindlichkeit auf Rauschen und auf 
unwesentliche Bilddetails geringer wird. 

Der Detailkontrast, der im folgenden auch lokaler Kontrast genannt wird, bezeichnet 
insbesondere die Differenz (oder das Verhaltnis) zwischen maximaler und minimaler 
Helligkeit in einer gewissen Umgebung eines Bildpunktes. Bevorzugt wird der Detail- 
kontrast wieder basierend auf einem Bild ermittelt, das einem Detailentfernungsverfah- 

» 

ren unterzogen wurde und insbesondere bei einem Bild ermittelt, das eine reduzierte 
Auflosung hat. 

Grundsatzlich wird die Bildscharfe durch das Auflosungsvermogen der Kameraoptik 
begrenzt. Dies wird durch den „modulation transfer factor" (als Funktion der Ortsfre- 
quenz) beispielsweise charakterisiert. Eine ungenaue Fokussierung bewirkt eine zusatzli- 
che Verunscharfung. Bei einer mangelnden Tiefenscharfe konnen nicht alle Objekte ei- 
ner Szene gleich scharf abgebildet werden. Die Scharfe wird bevorzugt aufgrund des 
hoch aufgelosten Bildes beurteilt. Dementsprechend wird die im folgenden erwahnte 
Scharfungs-Korrekturmaske bevorzugt auf das hoch aufgeloste Bild (Feinbild) angewen- 
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det. Als Mafi fur die Unscharfe kann z.B. die Anzahl der Pixel, uber welche eine schar- 
fe Kante „verschmiert" wird, verwendet werden. Der Scharfe eindruck kann beispiels- 
weise durch Filterung (mit einem Filter, welches die hoheren Ortsfrequenzen anhebt) 
verbessert werden. 

Erfindungsgemafl wird die globale Scharfung insbesondere in Abhangigkeit vom lokalen 
Kontrast durchgefuhrt. 

Die Elemente der Scharfungs-Korrekturmaske beschreiben insbesondere den Grad der 
vorzunehmenden Kontrastanderungen fiir die einzelnen Bildelemente lokal, also insbe- 
sondere die Anderung des lokalen Kontrasts (Detailkontrasts). Besonders bevorzugt be- 
schreiben die Elemente der Scharfungs-Korrekturmaske die Anderung der Scharfe, die 
mittels eines Scharfeanderungsverfahrens vorgenommen wird. 



Zur Bestimmung der Elemente wird insbesondere Information liber eine Bildeigenschaft, 
insbesondere eine lokaie Bildeigenschaft (insbesondere die Bildeigenschaft an dem dem 
Element zugeordneten Ort) verwendet. Bei der Bildeigenschaft handelt es sich bevorzugt 
um den lokalen Kontrast (Detailkontrast) an dem dem Element zugeordneten Ort (oder 
um die lokaie Helligkeit). ErfindungsgemaB werden die Elemente nicht nur basierend 
auf einer Bildeigenschaft bestimmt, sondern weitere Information, die das Bild betrifft, 
wird zur Bestimmung der Elemente verwendet. s 

Vorzugsweise verwendet das erfindungsgemafie Verfahren zum Scharfen ein Scharfean- 
derungsverfahren, wobei die Elemente der Scharfungs-Korrekturmaske die durch das 
Scharfeanderungsverfahren erzeugte Anderung der Scharfe festlegen. 

Die Scharfeanderung kann allgemein so erfolgen, dass die Scharfe (lokal) einem Soll- 
scharfewert oder einem Bereich fur die Sollscharfe zumindest angenahert ist Oder den 
Sollscharfenwert erreicht oder in dem Sollscharfenwertbereich liegt. 

Die vorliegende Erfindung betrifft Scharfungs-Korrekturmasken, die eine Bildeigen- 
schaft beeinflussen, namlich die Scharfe. Eine Bildeigenschaft ist eine von einem 
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menschlichen Betrachter wahrgenommene Erscheinungseigenschaft des Bildes und insbe- 
sondere der Bildbereiche, wie z.B. Helligkeit, Farbton, Farbsattigung, Intensitat einer 
Far be (z.B. der Wert von r bei einem RGB-Vektor oder der Wert von c bei einem 
CMY-Vektor), Scharfe, Kontrast, mittlere Helligkeit, mittlere Farbe, relative Anzahl 
von Punkten mit einer charakteristischen Farbe (z.B. „ Memory Color"), globaler Kon- 
trast (Differenz zwischen maximaler und minimaler Helligkeit), feiner und mittlerer 
Detailkontrast, Histogramm der Helligkeitswerte (Merkmalvektor), Farbhistogramm 
(Mermalmatrix), mittlere Farbsattigung, Helligkeitsgradient links/rechts, oben/unten, 
usw. Bildeigenschaften sind beispielsweise in R.W.G. Hunt, „Color reproduction by 
photography", Rep. Prog. Phys. 1977, 40, pp. 1071-1121) beschrieben. 

ErfindungsgemaB wird die S char fiings -Korrekturmaske aus den zu korrigierenden foto- 
grafischen (insbesondere digitalen) Bilddaten (z. B. Originalbilddaten) oder daraus ab- 
geleitete Bilddaten bestimmt. 

Die Elemente der Korrekturmaske werden als „ Korrekturelemente" bezeichnet. Die 
Korrekturelemente sind Orten im Bild zugeordnet, die Teile des Bildes betreffen. Ein 
derartiger Bildteil kann einem Bildelement (Pixel) entsprechen, wobei ein Bilddatum 
genau einem Pixel zugeordnet ist. Der Bildteil kann aber auch mehrere Bildelemente 
umfassen. Die Korrekturelemente legen die Korrektur fur diejenigen Bilddaten fest, die 
die Bildteile betreffen und fur diese die Bildeigenschaft festlegen. Die Korrekturele- 
mente legen die Anderung der Scharfe in den Bildteilen fest, die ihnen zugeordnet sind. 

Um die Korrektur zu erzielen, wird die Korrekturmaske auf die Bilddaten angewendet. 
Hierzu wird ein Scharfeanderungsverfahren verwendet, z.B. adaptive Hochpassfilterung 
oder Warp-Sharpening, bei dem der Umfang der lokalen Scharfung in einem Bildteil in 
Abhangigkeit von dem Maskenelement erfolgt, das diesem Bildteil zugeordnet ist. Fur 
diese Verknupfung wird vorzugsweise ein geeigneter Farbraum gewahlt, wobei vor 
und/oder nach der Verknupfung eine Transformation in einem anderen Farbraum statt- 
finden kann. 



GemaB einer Ausfuhrungsform wird die Scharfungs-Korrekturmaske nicht nur in Ab- 
hangigkeit von einer Bildeigenschaft (z.B. Detailkontrast), sondern in Abhangigkeit von 
mehreren Bildeigenschaften bestimmt. 

Ein wesentlicher Aspekt der Erfmdung ist es, dass die Scharfungs-Korrekturmasken so 
gestaltet werden, dass im Bild enthaltene Detailinformation nicht verloren geht. Zu die- 
sem Zweck werden die Elemente der Korrekturmaske vorzugsweise so gestaltet, dass sie 
benachbarte Bildelemente moglichst gleich Oder nur wenig unterschiedlich korrigieren. 
Um dies zu erzielen, konnen verschiedene Methoden angewendet werden. Beispielsweise 
konnen die das Bild darstellenden Bilddaten vor und/oder nach der Korrektur einem 
Verfahren unterzogen werden, das eine Weichzeichnung bewirkt, wie z.B. ein Datenre- 
duktionsverfahren (z. B. Do wnsampling- Verfahren) eine Tiefpassfilterung, ein Mitte- 
lungsverfahren oder einem GauB-Filter. Auch konnen durch diese Verfahren, die der 
Entfernung von Bilddetails dienen, Bilder erzeugt werden, die das urspriingliche Bild 
ohne Details, also „grob" wiedergeben. Derartige Bilder werden im folgenden „Grob- 
bilder" genannt. Basierend auf diesen Grobbildern konnen unscharfe Masken erzeugt 
werden. Vorzugsweise werden die unscharfen Masken auf Grund eines niedrig aufge- 
losten Bildes (Grobbildes) berechnet, das beispielsweise durch Downsampling erzielt 
wurde, wodurch insbesondere Rechenkapazitat eingespart werden kann. Bilder die die 
Bilddetails enthalten, die also keinem Detailentfernungsverfahren unterzogen wurden, 
werden im folgenden auch als „Feinbild" bezeichnet. Die das Feinbild darstellenden 
Bilddaten werden als „ Feinbilddaten" bezeichnet. Die Korrekturmasken konnen direkt 
aus den Feinbilddaten bestimmt werden. Aus den oben genannten Griinden werden sie 
jedoch bevorzugt basierend auf Grobbilddaten bestimmt, die von den Feinbilddaten (z.B. 
Originalbilddaten) abgeleitet werden. Entsprechend ist das Grobbild von dem Feinbild 
(Originalbild) abgeleitet. 

Das Grobbild wird durch Grobbilddaten dargestellt, die aus dem Detailentfernungsver- 
fahren hervorgehen. Wie das Originalbild (Feinbild) hat auch das Grobbild eine Vielzahl 
von Bildelementen, die im Folgenden als "Grobbildelemente" bezeichnet werden, wobei 
"Grobbildteile" gleich einem Grobbildelement sein konnen Oder mehrere Grobbildele- 
mente aufweisen konnen. Eine Korrekturmaske, die basierend auf den Grobbilddaten 
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gewonnen wird, wird als eine Grobkorrekturmaske bezeichnet, deren Elemente sich auf 
die Grobbildteile beziehen. Die Elemente der Grobbildmaske beschreiben Anderungen 
des Kontrastes des Grobbildes, die als "Grobanderungen" bezeichnet werden und die die 
Anderung der Bildeigenschaften oder mindestens einer Bildeigenschaft der Grobbildteile 
festlegen. Die Grobanderungen werden im Hinblick auf die Kontrastanderungen gestal- 
tet, die von der Korrekturmaske vorzunehmen sind. Beispielsweise werden die Elemente 
der Grobkorrekturmaske so gestaltet, dass sie den Kontrast des Grobbildes andern. Falls 
das Grobbild aus einem Datenreduktionsverfahren gewonnen wurde, kann die Korrek- 
turmaske dann auf der Grobkorrekturmaske durch ein Ausweitungsverfahren ("Upsampl- 
ing") gewonnen werden. Falls die Anzahl der Grobbildelemente der Anzahl der Fein- 
bildelemente entsprechen sollte, das Grobbild also weniger Details enthalt aber kein 
Datenreduktionsverfahren angewendet wurde, kann die Korrekturmaske der Grobkor- 
rekturmaske gleichgesetzt werden. 

ErfindungsgemaB ist die durch die Elemente festgelegte Kontrastanderung sowohl eine 
Funktion des lokalen Kontrasts, also des Kontrasts an dem Ort, auf den sich das Mas- 
kenelement bezieht, als auch eine Funktion von zusatzlicher Information, die das Bild 
betrifft. Diese zusatzliche Information kann aus den Bilddaten gewonnen werden (z.B. 
Information iiber den Farbton oder iiber Bildbereiche die Haut darstellen), wie weiter 
unten noch erlautert wird, oder kann zusatzlich zu den Bilddaten in das erfindungsgema- 
Be Verfahren oder das erfindungsgemaBe Systejn eingegeben werden oder von diesem 
empfangen werden. Beispielsweise kann es sich um Information iiber die Situation bei 
der Bilderfassung (Einsatz eines Blitzlichtes, Kameraeinstellungen usw.) oder um Infor- 
mationen xiber das Bilderfassungsgerat (Kamera) handeln. Letzteres betrifft insbesondere 
Information iiber den Kameratyp, Filmtyp, Bilddatenverarbeitungsprozesse (z.B. Meta- 
information iiber die Bildkomprimierung, z.B. bei JPEG), die bereits vorab durchgefuhrt 
wurden, usw. 

Durch die zusatzliche, das Bild betreffende Information ist es moglich, eine an die Be- 
sonderheiten des Bildes angepasste Scharfung vorzunehmen. 
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GemaB einer Ausfiihrungsform handelt es sich bei der zusatzlichen Information um In- 
formation uber lokale Bildeigenschaften, die durch Analyse der Bilddaten gewonnen 
wird und die zusatzlich zur Information uber den lokalen Kontrast (und/oder die lokale 
Helligkeit) vorhanden ist. Bei der zusatzlichen lokalen Bildeigenschaft kann es sich um 
den Farbton und/oder den Farbkontrast und/oder die Farbsattigung handeln, die lokal 
gegeben ist, das heiBt bei dem Bildelement oder den Bildelementen, auf das sich die E- 
lemente der Korrekturmaske beziehen oder in der Nachbarschaft dieser Elemente. 

Bei der durch die Scharfungskorrekturmaske vorgenommenen Kontrastanderung handelt 
es sich insbesondere um eine Anderung des Helligkeitskontrasts. Der Helligkeitskontrast 
ist eine Funktion der Differenz der Helligkeitswerte benachbarter Bildelemente. 

Bei der durch die Korrekturmaske bewirkten Anderung kann es sich auch um eine Ande- 
rung des Farbkontrastes handeln. Der Farbkontrast wird beispielsweise als Funktion des 
Abstandes der Farbwerte von benachbarten Bildelementen in der Farbebene (a,b-Ebene) 
defmiert. Der Farbkontrast kann auch als Funktion der Differenzen der Farbintensitat 
benachbarter Bildelemente definiert werden. Beispielsweise kann der Farbkontrast fur 
Rot als Funktion der Differenzen der r-Werte (eines r,g,b-Vektors) benachbarter Bild- 
elemente definiert werden. Eine Korrekturmaske, die den Farbkontrast einer bestimmten 
Farbe korrigiert, wirkt also vorzugsweise nur auf den Aspekt der Bilddaten, der diese 
Farbe darstellt, (z.B. dem r-Wert) wohingegen die Korrekturmaske, die eine Anderung 
des Helligkeitskontrasts bewirkt, auf den Aspekt der Bilddaten vorzugsweise wirkt, der 
die Helligkeit darstellt (z.B. dem L-Wert bei einem Lab-Vektor). 

Der Farbkontrast kann fur unterschiedliche Farben unterschiedlich geandert werden. 
Beispielsweise gibt es somit eine Korrekturmaske, die den Farbkontrast fur die Farbe 
Rot andert, eine weitere Korrekturmaske, die den Farbkontrast fur die Farbe Griin an- 
dert und schlieBlich noch eine Korrekturmaske, die den Kontrast fiir die Farbe Blau an- 
dert. Naturlich sind auch Korrekturmasken fiir andere Farben (z.B. C, M, Y) moglich. 
Vorzugsweise handelt es sich um unabhangige Farben, die einen Farbraum aufspannen. 



@ 



09-02p3ffH 



8 



Durch die Anpassung der Scharfungs-Korrekturmaske an die zusatzlichen lokalen Bild- 
eigenschaften kann eine vorteilhafte Scharfung erzielt werden. Beispielsweise kann fur 
typische Farbtone (z.B. Hauttone) der Kontrast eher vermindert werden, wahrend er fur 
andere typische Farbtone (z.B, Vegetationsgnin) der Kontrast eher erhdht wird. Auch 
kann es in Bereichen geringer Farbsattigung eher erwunscht sein, den Kontrast abzusen- 
ken, urn ein mogliches Rauschen zu verhindern, wahrend es in Bereichen hoher Farb- 
sattigung eher erwunscht sein kann, den Kontrast zu erhohen, urn Strukturen noch deut- 
licher hervortreten zu lassen. 

GemaB einer weiteren Ausfuhrungsform handelt es sich bei der zusatzlichen Information 
zusatzlich oder alternativ um Information iiber den Bildinhalt. Diese Information kann 
iiber Zusatzdaten gewonnen werden, die zusatzlich zu den Bilddaten empfangen wurden. 
Beispielsweise kann die Information ubermittelt werden, dass an der Kamera bei der 
Bilderfassung der Aufnahmetyp Portraitaufnahmen eingestellt wurde. Dementsprechend 
kann darauf geschlossen werden, dass der Bildinhalt Bereiche enthalt, die Haut zeigen. 
Falls die zusatzlichen Daten anzeigen, dass ein Blitzlicht verwendet wurde, kann darauf 
geschlossen werden, dass es mit einer gewissen Wahrscheinlichkeit uberbelichtete und 
unterbelichtete Bereiche in dem Bild gibt. Auf Grund der zusatzlichen Information kon- 
nen somit die Bilder unterschiedlichen Klassen zugeordnet werden, wobei dann in Ab- 
hangigkeit von den Klassen eine Bestimmung der Elemente der Korrekturmaske erfolgt 
oder die bereits bestimmten Elemente einer klassenabhangigen Korrektur unterzogen 
werden. 

Vorzugsweise erfolgt die Bestimmung der zusatzlichen Information iiber den Bildinhalt 
basierend auf einer Analyse der Bilddaten, vorzugsweise zumindest auf einem GroBteil 
der Bilddaten. Basierend auf der Analyse der Bilddaten kann beispielsweise das Bild 
klassifiziert werden. Abhangig von der Klasse (z.B. Sonnenuntergang, Blitzlichtaufhah- 
me, Portraitaufhahme usw.) wird dann die Scharfungskorrekturmaske bestimmt. 

Vorzugsweise werden die Bilddaten analysiert, um charakteristische Bildbereiche zu 
erkennen. Charakteristische Bildbereiche sind Bildbereiche, die haufig in fotografischen 
Bildern vorkommen. Dazu zahlen z.B. Bereiche, die ein Gesicht oder menschliche Haut 
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darstellen, Bereiche, die Vegetation, z.B. Baume, darstellen, Bereiche, die Gebaude 
darstellea Oder StraBen darstellen, Bereiche, die Himmel oder Strand darstellen usw. 
Die charakteristischen Bildbereiche konnen aus benachbarten Bildelementen bestehen, 
miissen aber nicht. Ublicherweise ist ein GroBteil der Bildelemente eines charakteristi- 
schen Bereichs benachbart. 

Derartige Bereiche konnen beispielsweise durch Mustererkennung, z.B. bei der Ge- 
sichtserkennung oder durch Erkennen von Strukturen bestimmt werden. Beispielsweise 
ist eine Gesichtserkennung iiber ein Mustererkennungsverfahren moglich. Dazu ist nicht 
unbedingt Information iiber Farbtone erforderlich. 

Vorzugsweise wird Information iiber den Farbton zur Erkennung charakteristischer Be- 
reiche verwendet. Beispielsweise hat Haut, Himmel oder Vegetation eine typische cha- 
rakteristische Farbe oder belegt zumindest im Farbraum typischerweise einen gewissen 
Bereich. Durch statistische Analyse einer Vielzahl von Bildern kann beispielsweise fest- 
gestellt werden, mit welcher Wahrscheinlichkeit ein gewisser Farbton zu einer gewissen 
charakteristischen Farbe gehort. 



1st ein charakteristischer Bildbereich erkannt, so erfolgt die Bestimmung der Scharfungs- 
Korrekturmaske basierend auf dieser Erkennung. Die Bestimmung der Korrekturmaske 
kann dabei beispielsweise so erfolgen, dass in. einer ersten Stufe die Korrekturmaske 
basierend auf dem lokalen Kontrast oder der lokalen Helligkeit erfolgt und in einem 
nachsten Schritt dann die Elemente der Korrekturmaske so geandert werden, dass sie 
sich einer Soll-Scharfe oder einem Sollscharfenbereich zumindest annahern, die bzw. 
der fur den erkannten charakteristischen Bildbereich vorgegeben ist. Vorzugsweise wird 
eine Zuordnungsvorschrift bereitgestellt, die Sollscharfen oder Bereiche fiir Sollscharfen 
verschiedenen Typen von charakteristischen Bildbereichen zuordnet. 

Die Bestimmung der Scharfiings-Korrekturmaske kann dabei zusatzlich basierend auf 
einem ZugehorigkeitsmaB erfolgen. Das ZugehorigkeitsmaB beschreibt den Grad der 
Zugehorigkeit eines Bildelements zu einem charakteristischen Bildbereich. Bei dem oben 
gegebenen Beispiel beschreibt das ZugehorigkeitsmaB beispielsweise den Grad der 
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Wahrscheinlichkeit, mit dem eine Farbe zu einem charakteristischen Farbton und damit 
zu einem charakteristischen Bildbereich gehort. Die Korrektur einer in einer ersten Stufe 
bestimmten Maske erfolgt dann in Abhangigkeit von dem ZugehorigkeitsmaB in Rich- 
tung auf die Soll-Scharfe. Das heiBt, je groBer das MaB der Zugehorigkeit ist, umso 
weiter erfolgt eine Annaherung an die Soll-Scharfe. 

Die Erfinder der vorliegenden Anmeldung haben herausgefunden, dass beim Ubergang 
zwischen charakteristischen Bildbereichen eine Veranderung des Kontrastes, insbesonde- 
re eine Bildscharfung kritisch ist und leicht zu Artefakten fiihren kann. ErfindungsgemaB 
wird deshalb das Bild oder ein davon abgeleitetes Bild (beispielsweise ein Grobbild) auf 
Ubergange zwischen Bildbereichen untersucht, die eine unterschiedliche Struktur auf- 
weisen, das heifit beispielsweise, ob hohe oder tiefe Raumfrequenzen dominieren oder 
ob sich eine Bildeigenschaft des einen Bildbereichs sich von derselben Bildeigenschaft 
des benachbarten Bildbereichs sich wesentlich (z.B. um einen vorgegebenen Schwellen- 
wert oder Faktor) unterscheidet. Derartige Ubergange gibt es beispielsweise zwischen 
Wald und blauem Himmel. Ein derartiger Ubergang kann neben einer Analyse der 
Raumfrequenzen beispielsweise durch Analyse der Verteilung der Kontrastwerte detek- 
tiert werden. In hochstrukturierten Bereichen stellt sich ein hoher mittlerer Detailkon- 
trast ein, wahrend in niedrig strukturierten Bereichen der mittlere Detailkontrast niedrig 
ist. Ubergangsbereiche lassen sich beispielsweise dort lokalisieren, wo die erste Ablei- 
tung des Kontrastverlaufs extreme Werte annimmt. ErfindungsgemaB wird bevorzugt in 
den Ubergangsbereichen keine oder nur eine schwache Kontrastanderung vorgenommen, 
um keine Artefakte zu provozieren. Dies gilt bevorzugt fur Bereiche mit hohem Detail- 
kontrast, d.h. falls der Detailkontrast oberhalb eines Schwellenwertes liegt. Alternativ 
oder zusatzlich kann der Verlauf der Kontrastwerte nach erfolgter Scharfung durch die 
Korrekturmaske in den Ubergangsbereichen einer Glattung unterzogen werden. Der U- 
bergang zwischen schwach strukturierten und stark strukturierten Bereichen wird bevor- 
zugt nur bei komprimierten Bildern, besonders bevorzugt nur bei block-komprimierten 
Bildern (DCT-Kompression, JPEG) bei der Bestimmung der Masken in oben genannter 
Weise beriicksichtigt, denn (zu starkes) Scharfen verstarkt kompressionsbedingte Arte- 
fakte („Ringing a ). „Ringing" entsteht z.B., wenn Koeffizienten von transformierten Bil- 
dern quantisiert werden oder die Anzahl der Koeffizienten reduziert wird. Insbesondere 
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bei diesen Kompressionsverfahren und bei verlustbehafteten Kodierverfahren („lossy 
coding 4 *) werden die Ubergange also beriicksichtigt. Die Beriicksichtigung erfolgt vor- 
zugsweise so, dass keine Scharfung erfolgt Oder die Scharfe verringert wird (Verun- 
scharfung). n< 

Liegen die Bilddaten in Form von Koeffizienten vor, die die Gewichtung verschiedener 
Raumfrequenzen bestimmen, wie dies beispielsweise bei den Koeffizienten der Fall ist, 
die sich durch eine diskrete Kosinustransformation (DCT) ergeben, wie dies bei dem 
Bildkompressionsverfahren JPEG der Fall ist, so kann anhand der Koeffizienten erkannt 
werden, wo stark oder schwach strukturierte Bereiche vorhanden sind. Dabei sind stark 
strukturierte Bereiche Bereiche insbesondere mit einem hohen Anteil hoher Raumfre- 
quenzen und/oder einem hohen Kontrast und schwach strukturierte Bereiche sind insbe- 
sondere Bereiche mit einem niedrigen Anteil hoher Raumfrequenzen und/oder mit einem 
niedrigen Kontrast. Aus der Analyse der Koeffizienten lasst sich dann wiederum ein U- 
bergangsbereich erkennen. 

Ist durch Zusatzinformation, die zusatzlich zu den Bilddaten iibermittelt wird, bekannt, 
dass die Bilddaten einem Verfahren unterzogen wurden, das zur Blockbildung fiihrt, wie 
dies beispielsweise bei JPEG der Fall ist, wo das Bild blockweise (Blocke mit 8x8 
Bildelementen) komprimiert wird, so werden bevorzugt die Blockubergange besonders 
behandelt. Insbesondere wird die Korrekturmaske (bevorzugt basierend auf dem Fein- 
bild) so gestaltet, dass die Maskenelemente, die sich auf die Blockubergange oder 
Blockrander beziehen, keine oder nur eine geringe Anderung des Kontrastes bewirken. 
Die Blockrander sind Scheinstrukturen, die ohne Beriicksichtigung der zusatzlichen In- 
formation iiber das Bild verstarkt werden wurden. 

Generell wird erfindungsgemaB bevorzugt jegliche Zusatzinformation verarbeitet, aus 
der sich auf die Position von Artefakten im Bild schlieBen lasst. Bevorzugt wird bei der 
Position der Artefakte auf eine Scharfung des Bildes verzichtet. 

Die vorliegende Erfindung betrifft weiter eine Vorrichtung (z.B. Hardware und Soft- 
ware oder ASIC) zum Scharfen eines fotografischen Bildes. Diese umfasst vorzugsweise 
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eine Korrektarmasken-Bestimmungseinheit, beispielsweise eine CPU, die beispielsweise 
die Elemente der Korrekturmaske in einem Speicher bei vorgesehenen Adressen ablegt, 
urn so zu gewahrleisten, dass die Elemente Bildteilen zugeordnet werden konnen. Die 
Korrekturmasken-Bestimmungseinhek bestimmt aus den Bilddaten, die das zu scharfende 
Bild darstellen, oder aus daraus abgeleiteten Bilddaten (beispielsweise Grobbilddaten) 
die Elemente de Korrekturmaske. Dabei legen die Elemente das AusmaB der vorzuneh- 
menden Scharfung fur die einzelnen Bildelemente (oder Grobbildelemente) fest. Vor- 
zugsweise umfasst die Vorrichtung weiter eine Bildeigenschaft-Bestimmungseinheit 
(z.B. eine Kontrast-/Helligkeits-Bestimmungseinheit), die lokal eine Bildeigenschaft 
(z.B. den Kontrast) im Bild (oder Grobbild) bestimmt. Basierend auf den bestimmten 
Werten berechnet die Bestimmungseinheit die Maskenelemente. Vorzugsweise umfasst 
die Vorrichtung weiter eine Zusatzinformations-Verarbeitungseinheit, die weitere, das 
Bild betreffende Information verarbeitet und basierend hierauf die Bestimmung der Mas- 
kenelemente durch die Bestimmungseinheit beeinflusst. Die erfindungsgemafie Scharfe- 
anderung, die von einer Scharfeanderungseinheit in Abhangigkeit von den Elementen 
der Korrekturmaske durchgefiihrt wird, umfasst vorzugsweise die Anderung eines Hel- 
ligkeitskontrastes und/oder die Anderung mindestens eines Farbkontrastes. 

Die Erfindung betrifft weiter ein Programm, das einen Computer veranlasst, das erfin- 
dungsgemafie Verfahren auszufiihren, sowie ein Computerprogrammmedium, auf dem 
das Programm gespeichert ist. 

Weiter umfasst die vorliegende Erfindung Bildausgabegerate, wie z.B. fotografische 
Printer oder Drucker (beispielsweise Tintenstrahldrucker, CRT-Drucker, DMD- 
Drucker, Fotopapier-Pr inter, Monitor, CRT-Display, LLD-Display) und fotografische 
Labors, insbesondere Minilabs und Mikrolabs, aber auch GroBlabors, die das erfin- 
dungsgemafie Verfahren, die erfindungsgemafie Vorrichtung oder das erfindungsgemafie 
Programm einsetzen. 

Bei der folgenden Beschreibung detaillierter Ausfuhrungsformen werden weitere Merk- 
male der Erfindung offenbart, wobei Merkmale verschiedener Ausfuhrungsformen mit- 
einander kombiniert werden konnen. 
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Fig. 1 



Fig. 2 



zeigt beispielhaft den Ablauf einer lokalen Scharfekontrolle gemaB der 
Erfindung; 

zeigt die Einbindung der erfindungsgemaBen lokalen Scharfekorrektur in 
ein allgemeines Korrektur system. 



ErfmdungsgemaB wird die zusatzliche, das Bild betreffende Information vorzugsweise in 
der Form von Masken gefasst, die dann zur Korrektur einer bereits bestimmten Schar- 
fungs-Korrekturmaske eingesetzt werden. Dabei gibt es eine eindeutige Zuordnung zwi- 
schen den Elementen der Scharfungs-Korrekturmaske und der Zusatzinformationsmaske, 
urn die lokalen Scharfungs-Korrektureigenschaften des erfindungsgemaBen Verfahrens 
zu optimieren. 

Beispielsweise werden Haut-, Himmel- und Vegetationsmasken verwendet, welche die 
zusatzliche Information darstellen und welche zur Berechnung der Scharfungs- 
Korrekturmaske Oder zur Korrektur einer in einer Vorstufe berechneten Vor-Scharfungs- 
Korrekturmaske dienen. 

Im folgenden wird beispielhaft beschrieben, wie eine Scharfungs-Korrekturmaske be- 
stimmt wird. Die Erlauterung erfolgt im Hinblick auf die Fig. 1. Als Erstes wird eine 
Konstrastmaske gebildet, welche den Verlauf dqs lokalen Kontrastes im Bild charakteri- 
siert. Vorzugsweise erfolgt die dazu erforderliche Analyse auf der Grundlage eines 
Grobbildes mit einer mittleren Bildauflosung (typischerweise 200 x 250 Pixel). Die so 
gewonnene Kontrastmaske entspricht der oben erwahnten Grobmaske. Die mittlere Bild- 
auflosung ist vorzugsweise um einen Faktor 3 bis 20 kleiner als die Auflosung des Ori- 
ginalbildes und wird aus dem Originalbild durch ein Datenreduktionsverfahren gewon- 
nen, beispielsweise durch „Downsampling", wobei Bilddaten des Grobbildes Mittel- 
werte mehrerer benachbarter Bilddaten des Feinbildes darstellen. Vorzugsweise umfasst 
die mittlere Bildauflosung etwa 20.000 bis 200.000 Pixel. Ein Originalbild umfasst typi- 
scherweise uber eine Million Pixel und typischerweise zwischen einer Million und funf 
Millionen. Als MaB fur den Detailkontrast kann z.B. die Differenz zwischen maximaler 
"und minimaler Helligkeit in einer Umgebung des betrachteten Bildpunktes verwendet 
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werden. Der Detailkontrast ist eine lokale Bildeigenschaft und bezeichnet bevorzugt in 
einer kleineren Umgebung benachbarter Punkte z.B. 5x5, 7x7, 9x9 Pixel usw. Die Um- 
gebung konnte aber auch grofier sein, z.B. 100x100 Pixel. Es kann aber auch, wie be- 
reits oben erlautert, ein Farbkontrast bestimmt und beriicksichtigt werden. 

Die so bestimmte "Kontrastmaske" wird nun ttber eine Funktion in eine „Basis-Schar- 
fungsmaske" umgerechnet. Die Funktion ist vorzugsweise nichtlinear. Die Funktion 
kann uber eine Tabelle (LUT) definiert werden. Die Elemente der Basis-Scharfiings- 
maske stellen Scharfungsfaktoren dar und bestimmten den Grad der Scharfung. Der Zu- 
sammenhang zwischen Scharfungsfaktoren und lokalen Kontrast ist in Figur 1 gezeigt. 

Vorzugsweise haben die Scharfungsfaktoren der Basis-Scharfungsmaske die folgenden 
Eigenschaften: 

• Der Scharfungsfaktor nimmt im Bereich kleiner Detailkontraste ab. Damit wird 
vermieden, dass in unterbelichteten Bereichen das Rauschen angehoben wird und 
dass homogene Bildbereiche (wie z.B. Himmel) ein "korniges" Aussehen erhal- 
ten. 

• Der Scharfungsfaktor nimmt in Bereichen hoherer Detailkontraste vorzugsweise 
monoton bis auf 0 ab. Damit wird erreicht, dass bereits scharfe Bildbereiche 
nicht iiberscharft werden und dass im Bereich scharfer Kanten keine storenden 
Uberschwinger entstehen. 

• Bevorzugt im Bereich mittlerer Detailkontrastwerte Oder in etwa bei 10% bis 
50%, bevorzugt bei 20% bis 40% des maximal festgestellten Kontrastes nimmt 
die Funktion ein Maximum ein. 

• Die Funktion, insbesondere nichtlineare Funktion wird vorzugsweise derart auf 
das Ausgabemedium angepasst und optimiert, dass eine maximale Scharfung ohne 
Artefakte erreicht wird. Dies geschieht vorzugsweise anhand von Testpatches. 
Testpatches sind Testbilder, auf die die Scharfungs-Korrekturmaske angewendet 
wird, die basierend auf der Basis-Scharfungsmaske bestimmt wurde. Durch visu- 
elle oder automatische Analyse der Testpatches kann die Giite der Scharfungs- 
Korrekturmaske und damit der nichtlinearen Funktion bestimmt werden. Durch 
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iterative Verfahrensweisen lasst sich somit die nichtlineare Funktion optimieren. 
Testpatches sind ublicherweise aus einem Streifenmuster aufgebaut, wobei die 
Streifen unterschiedliche Detailkontraste (Helligkeitsstufen) aufweisen. 

Bei der Basis-Scharfungsmaske handelt es sich bevorzugt, wie bei der Kontrastmaske urn 
eine Grobmaske, d.h. sie basiert auf Grobbilddaten, die keine Detailinformation enthal- 
ten. Die Grobbilddaten werden durch ein Detailentfernungsverfahren aus den Feinbild- 
daten bestimmt. Wurde als Detailentfernungsverfahren ein Datenreduktionsverfahren 
(z.B. „Downsampling") verwendet, so haben die Grobmasken eine reduzierte Element- 
zahl, die vorzugsweise der Elementzahl des Grobbildes entspricht. Die Basis- 
Scharfungsmaske liegt bevorzugt aber nicht notwendigerweise mit dieser reduzierten 
Elementzahl vor. Die Basis-Scharfungsmaske wird in einem nachsten Verfahrensschritt 
nun korrigiert, urn dann letztendlich die Scharfungs-Korrekturmaske zu erhalten. Die 
Korrektur wird wieder bevorzugt mit reduzierter Elementzahl durchgefiihrt. In diesem 
Fall muss dann die korrigierte Basis-Scharfungsmaske noch einem Ausweitungsverfah- 
ren (z.B. Interpolationsverfahren) unterzogen werden, um eine Scharfungs-Korrektur- 
maske zu erhalten, deren Elementzahl der Elementzahl des zu korrigierenden Feinbildes 
entspricht. 

Die Basis-Scharfungsmaske wird bevorzugt basierend auf anderen Masken, sogenannten 
Zusatzinformationsmasken oder Hilfsmasken (siehe Figur 2) korrigiert. Dabei ist bevor- 
zugt ein Element der Zusatzinformationsmaske eindeutig einem Element der Basis- 
Scharfungsmaske zugeordnet und beschreibt das AusmaB der Anderung des zugeordne- 
ten Elements der Basis-Scharfungsmaske. Die Zusatzinformationsmasken (Hilfsmasken) 
werden bevorzugt basierend auf einem Grobbild, z.B. demjenigen, welches der lokalen 
Kontrastanalyse zugrunde gelegt wurde, bestimmt oder basierend auf einer Analyse die- 
ses Grobbildes. Beispielsweise konnen die Elemente der Zusatzinformationsmaske eine 
Funktion der lokalen Helligkeit oder der lokalen Farbsattigung oder des lokalen Farb- 
tons sein. Vorzugsweise stellen die Zusatzinformationsmasken Information iiber den 
Bildinhalt dar, wie z.B. Information iiber charakteristische Bildbereiche, wie Haut oder 
Gesicht. Die Zusatzinformationsmaske wird in diesem Fall auch als Hautmaske bezeich- 
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net. Andere Beispiele fur Zusatzinformationsmasken sind die in Figur 1 gezeigten Him- 
melmasken und Vegetationsmasken. 

Vorzugsweise wird in Bildbereichen mit Hautfarbe der Scharfungsfaktor reduziert. Da- 
mit wird der Tatsache Rechnung getragen, dass bei iibermaBiger Scharfung der Eindruck 
"unsauberer" Haut entsteht (Pickel, Barthaare). Konkret kann diese Reduktion durch die 
Multiplikation des Scharfungsfaktors mit dem Ausdruck (1,0 - k x Hautindikator) erfol- 
gen, wobei k < 1, bevorzugt k = 0,5. Der Hautindikator ist ein MaB fur die Wahr- 
scheinlichkeit oder Zugehorigkeit eines Bildelements zu einem charakteristischen Bildbe- 
reich, der Haut darstellt. Der Wert des Hautindikators eines Bildelements kann bei- 
spielsweise anhand des Farbwertes, insbesondere Farbtons und/oder Farbsattigung des 
Bildelements bestimmt werden. Vorzugsweise werden Verteilungsfunktionen oder Wahr- 
scheinlichkeitsverteilungen vorgegeben, die festlegen, mit welcher Wahrscheinlichkeit 
oder mit welchem Zugehorigkeitsgrad ein gewisser Farbwert zu einer charakteristischen 
Farbe (z.B. Hautfarbe) gehort. Je weiter ein Farbwert von einem charakteristischen 
Farbwert, insbesondere Farbton und/oder Farbsattigung abweicht, desto kleiner ist typi- 
scherweise der Zugehorigkeitsgrad. Aus dieser Verteilungsfunktion oder Wahrschein- 
lichkeitsverteilung lasst sich dann anhand des Farbwertes, insbesondere Farbton 
und/oder Farbsattigung ein MaB dafur bestimmen, dass ein bestimmter Farbwert zu ei- 
ner charakteristischen Farbe gehort. Damit ist dann beispielsweise der Hautindikator 
bestimmt. 

• In Bildbereichen mit Himmelfarbe wird vofzugsweise der Scharfungsfaktor nach 
einem analogen Verfahren ebenfalls reduziert oder sogar auf 0 reduziert. 

• In Bildbereichen mit Vegetation wird eine starkere Scharfung im Allgemeinen 
vorgezogen. Diese kann analog zu oben mittels der Vegetations maske erreicht 
werden. 

• Die letztendlich unter Einbeziehung der zusatzlichen Information bestimmte kor- 
rigierte Basis-Scharfungsmaske wird mittels Interpolation ("Upsampling" und 
"Smoothing"), also einem Datenausweitungsverfahren auf die Auflosung des zu 
scharfenden Bildes (Feinbildes) gebracht. 
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• Das Originalbild (Feinbild) wird dann einem Scharfeanderungsverfahren unter- 
worfen, das als Parameter die Elemente der Scharfungs-Korrekturmaske einsetzt. 
Bei dem Scharfeanderungsverfahren kann es sich beispielsweise urn eine ortsvari- 
ante Hochpassfilterung handeln, wie dies in A. Polesel, G. Ramponi, "Image En- 
hancement via Adaptive Unsharp Masking", IEEE Trans. Image Processing, Vol. 
9, Nr. 3, Seiten 505-510, Marz 2000, beschrieben ist. Das heiBt das AusmaB der 
Scharfiing variiert von Bildelement zu Bildelement auf Grund des Wertes der E- 
lemente in der Scharfungsmaske, die den Bildelementen insbesondere eindeutig 
zugeordnet sind. Beispielsweise kann die Anhebung der hoheren Ortsfrequenzen 
beim Hochpassfiltervorgang (z.B. Erhohung des Verstarkungsfaktors des Filters 
und/oder Anderung der Grenzfrequenz des Filters) in Abhangigkeit von den Ele- 
menten der Scharfungs-Korrekturmaske geandert werden. Ist eine Verunschar- 
fung erwiinscht, so konnen beispielsweise die hoheren Ortsfrequenzen abgesenkt 
werden. Die Erhohung oder Verringerung der Scharfe wird allgemein als Schar- 
feanderung bezeichnet. Die Variation der Scharfiing erfolgt dabei graduell, da die 
Basis fur die Scharfungs-Korrekturmaske das Grobbild bildete, das keine Detail- 
information enthalt. Die Scharfungs-Korrekturmaske kann somit als eine nie- 
derfrequente (das heiBt unscharfe) Maske angesehen werden. Als Scharfeande- 
rungsverfahren kann bevorzugt ein Verfahren zur Anderung des lbkalen Kon- 
trastes verwendet werden, wobei die Anderung des Kontrastes von den Elementen 
der Scharfungskorrekturmaske abhangt. 



Wie bereits oben bemerkt wurde, gibt es verschiedene Moglichkeiten, die Scharfiing 
lokal in Abhangigkeit von der Korrekturmaske durchzufuhren. Beim adaptiven Hoch- 
passfilter werden die den Pixeln zugeordneten Werte verandert. Dahingegen lasst das 
Warp-Sharpening in einem Zwischenschritt die Pixelwerte unverandert. Statt dessen er- 
folgt eine Verschiebung der Pixel. Auf diese Art und Weise konnen Uberschwinger 
vermieden werden. Die Funktionsweise des Warp-Sharpenings ist in der bereits oben 
erwahnten Druckschrift von N. Arad, C. Gotsman beschrieben. Dabei werden mittels 
eines Edge-Detektors im Bild Kandidaten fur Kanten gesucht. Die Ausgabe des Edge- 
Detektors wird dann weichgezeichnet. Danach wird ein Relieffilter angewandt und aus 
diesem eine Verschiebungsmaske abgeleitet. Die Originalpixel werden dann um den in 
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der Verschiebungsmaske angegebenen Wert verschoben. Dies kann beispielsweise nach 
dem Prinzip erfolgen, dass bei einer Verschiebung um mehr als einen halben Pixel die 
Werte der verschobenen Pixel die Werte der Pixel ersetzen, die bisher an dieser Stelle 
waren. Werden Stellen durch den Verschiebevorgang frei, so werden beispielsweise die 
alten Werte beibehalten. Das AusmaB des Verschiebens kann beispielsweise in Abhan- 
gigkeit von den Elementen der Scharfungs-Korrekturmaske erfolgen. 

Da die Pixel bei einem derartigen Scharfungsvorgang immer zur Kante hin verschoben 
werden, werden die Kanten aufgesteilt (steiler gemacht), wodurch eine Scharfung erzielt 
wird. Eine Verunscharfung wurde dadurch erzielt werden, dass die Pixel so verschoben 
werden, dass die Kanten flacher gemacht werden. 

Wie bereits oben erwahnt, kann das Grobbild durch Downsampling oder durch Filter- 
verfahren (Tiefpassfilter, GauB filter) oder durch Filterbanke (wie in EP 0 971 315 be- 
schrieben) erzielt werden. Ein Downsampling in einem ersten Schritt und ein Upsampl- 
ing am Ende des Verfahrens ist also nicht unbedingt notig, wird jedoch auf Grand der 
dadurch erforderlichen geringeren Rechenkapazitat und des geringeren Speicherauf- 
wands bevorzugt. 

Fig. 2 zeigt die Einbindung des erfindungsgemaBen lokalen Scharfungs verfahrens in ein 
Maskenkorrektursystem, das im Folgenden naher erlautert wird. 

Fig. 2 zeigt einen beispielhaften Aufbau fur eine erfindungsgemaBe Korrekturvorrich- 
tung, wobei die Blocke jeweils Einheiten reprasentieren, die bestimmte Prozessab- 
schnitte durchfuhren. Alternativ kann die Fig. 2 auch als Veranschaulichung des erfin- 
dungsgemaBen Korrekturverfahrens aufgefasst werden. Die Fig. 2 zeigt insbesondere die 
Datenfliisse und das Zusammenwirken der einzelnen Komponenten des Systems auf. 

Bezugszeichen, die in Fig. 2 mit 1 beginnen, betreffen die niedrigste Auflosung. Be- 
zugszeichen, die mit 2 beginnen, betreffen die mittlere Auflosung und Bezugszeichen, 
die mit 3 beginnen, betreffen die hochste Auflosung. Bezugszeichen, die mit 4 beginnen, 
betreffen eine Absenkung der Auflosung, und Bezugszeichen, die mit 5 beginnen, 
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betreffen eine Erhohung der Auflosung. Die punktierten Linien im oberen Teil des Bil- 
des betreffen die niedrige Auflosung. Die dicken durchgehenden Linien im unteren Teil 
des Bildes betreffen die hohe Auflosung. 

GemaB dem in Fig. 2 gezeigten Beispiel fmdet eine Bildanalyse bevorzugt bei den nied- 
rig aufgelosten Bildern statt. Eine Ausnahme stellt die Analyse des lokalen Kontrasts im 
Block 210 dar. Die Reduktion der Bildauflosung C'Downsampling") erfolgt vorzugswei- 
se in mindestens zwei Stufen. In einer ersten Stufe, die im Block 410 durchgefuhrt wird, 
erfolgt eine Verringerung der Auflosung von dem hochaufgelosten Bild (typischerweise 
uber eine Million Bildelemente) auf eine mittlere Auflosung, beispielsweise 200 x 250 
Bildelemente. Im Block 420 erfolgt dann in der zweiten Stufe eine weitere Absenkung 
der Bildauflosung auf eine niedrige Auflosung, beispielsweise 40 x 50 Bildpunkte. Die 
Analyse kann somit, falls erforderlich, an Bildern unterschiedlicher Auflosung durchge- 
fuhrt werden. 

Die Grobmasken, die in den Blocken 110, 120 und 130 angewendet werden, werden 
basierend auf einer Analyse des Grobbildes, das aus dem Block 420 hervorgeht, be- 
stimmt. Die Grobmasken werden anschlieBend mittels Upsampling in unscharfe Masken 
(Korrekturmasken) umgewandelt, die bevorzugt der Auflosung des Originalbildes ent- 
sprechen, das heiBt ein Element der Korrekturmaske entspricht einem Bildelement des 
Originalbildes oder des zu korrigierenden Feinbildes. 

s 

Bevorzugt erfolgt die Erhohung der Auflosung in der gleichen Anzahl von Stufen, wie 
die Reduktion der Auflosung, so dass mit unterschiedlicher Auflosung berechnete Mas- 
ken miteinander (z. B. gewichtet) kombiniert werden konnen, schon bevor man zur 
nachsten Auflosung oder nachsthoheren Auflosung iibergeht. 

Die Reihenfolge der Verarbeitungsschritte, wie sie in Fig. 2 gezeigt sind und wie an den 
Bilddaten durchgefuhrt werden, konnen auch anders gewahlt werden. Die dargestellte 
Verarbeitungskette dient lediglich zur Veranschaulichung des Konzepts. Aus Effizienz- 
griinden ist es naturlich sinnvoll, die einzelnen Verarbeitungsschritte soweit wie moglich 
zusammenzufassen. 
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Die Blocke 110, 150 und 310 dienen dazu, den zur Verfiigung stehenden Wertebereich 
oder Dynamikbereich so gut wie moglich zu nutzen und werden weiter unten naher er- 
lautert. Im folgenden werden zuerst die ubrigen Elemente der Fig. 2 naher erlautert. 
Zu Beginn wird ein hoch aufgelostes Bild mit einer Vielzahl von Bilddaten, die jeweils 
Bildelementen zugeordnet sind, empfangen (im Bild links unten). Die Bilddaten werden 
im Block 410 in einer ersten Stufe reduziert und dann in dem Block 420 nochmals redu- 
ziert. Die nach dem Block 420 vorliegenden reduzierten Bilddaten stellen somit ein Bild 
niedriger Auflosung (Grobbild) dar. Auf dieses Grobbild wird der Block 110 angewen- 
det, der zu einer Spreizung des Wertebereichs fiihrt, wie weiter unten noch erlautert 
wird. Auf die dann resultierenden Bilddaten, die immer noch in derselben Auflosung 
vorliegen, wird dann eine multiplikative Maske 120 angewendet, die beispielsweise die 
oben erwahnten Effekte auf die Farbsattigung hat. SchlieBlich wird dann im Block 130 
eine additive Maske angewendet, die beispielsweise das Helligkeitsprofil andert. Danach 
konnen weitere Masken angewendet werden, die Bildeigenschaften andern. 

Gemafi Fig. 2 werden basierend auf den Grobbilddaten im Block 140 Hilfsmasken be- 
rechnet. Diese Hilfsmasken betreffen beispielsweise charakteristische Bildbereiche, wie 
Haut, Himmel und Vegetation, und konnen beispielsweise, wie oben erlautert, bestimmt 
werden. Anhand dieser Masken ist dann dem System bekannt, welche Bildelemente oder 
Bildteile zu den charakteristischen Bereichen gehoren oder welche zu charakteristischen 
Farbtonen zugeordnet werden. 

Die vorliegende Erfindung betrifft insbesondere nur den linken Teil der Figur 2, d.h. 
die Blocke 420, 140, 560, 210, 510, 300 und 410. Dieser Teil kann beliebig mit anderen 
Korrekturverfahren kombiniert werden, insbesondere mit dem rechten (ubrigen) Teil der 
Figur 2. 

Im Block 560 erfolgt eine Ausweitung der Hilfsmasken auf die mittlere Auflosung. Die 
daraus gewonnenen Informationen werden im Analyseblock 210 verarbeitet, der die lo- 
kale Scharfe analysiert. Die Analyse der lokalen Scharfe erfolgt auf der Basis des mit- 
telaufgelosten Bildes. Dies liegt insbesondere daran, dass die Scharfe bei der Position 
eines Bildelements als Funktion der Bildeigenschaft (z.B. Helligkeit) sowohl an der 
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Stelle des Bildelements als auch an der Stelle benachbarter Bildelemente definiert ist. 
Eine Besonderheit des erfindungsgemaBen Verfahrens liegt nun darin, dass in die Analy- 
se der lokalen Scharfe nicht nur lokale Daten, also benachbarte Bildelemente betreffende 
Daten einfliesen, sondern iiber die im Block 560 ausgeweiteten Hilfsmasken Informatio- 
nen iiber den Bildinhalt mit einflieBen und in Abhangigkeit davon dann eine Maske be- 
stimmt wird, deren Elemente eine lokale Scharfung festlegen, die sowohl durch jeweils 
lokale Daten als auch globale Bilddaten (wie z.B. die Zugehorigkeit zu einem charakte- 
ristischen Bildbereich) berticksichtigen. Die so im Block 210 gewonnene Scharfungs- 
maske wird dann im Block 510 ausgeweitet. Die ausgeweitete Scharfungs-Korrektur- 
maske 300 wird dann auf die hochaufgelosten Bilddaten angewendet. 

Die Hilfsmasken werden vorzugsweise auch bei der Berechnung der Nachschlagetabellen 
im Block 150 verwendet, die dann zur Spreizung der Bilddaten im Block 110 angewen- 
det werden, wie spater noch naher erlautert wird. Die in den Hilfsmasken enthaltene 
Information insbesondere iiber den Bildinhalt wird bevorzugt auch bei der Berechnung 
der in den Blocken 120 und 130 angewendeten Grobmasken benicksichtigt. Die Berech- 
nung der multiplikativen Masken erfolgt im Block 160 und die Berechnung der additiven 
Masken im Block 170. Die Berechnung der multiplikativen und additiven Masken, also 
allgemein der Grobmasken, erfolgt im Wesentlichen basierend auf einem Grobbild und 
die Hilfsmasken werden vorzugsweise zur Korrektur der so berechneten Grobmasken 
herangezogen. . 

Beispielsweise erfolgt die Berechnung der multiplikativen Masken im Block 160 basie- 
rend auf der Analyse des Grobbildes, das aus der Anwendung der LUTs im Block 110 
hervorgeht, also nach Spreizung der Bilddaten. Die berechneten multiplikativen Masken 
werden dann im Block 120 auf das Grobbild angewendet. Sie fiihren, wie oben erlautert 
wurde, beispielsweise zur Anderung der Helligkeit in stark iiberbelichteten und unterbe- 
lichteten Bereichen und zur gleichzeitigen Anderung der Farbsattigung in diesen Berei- 
chen. Durch die multiplikativen Masken noch nicht korrigierte Helligkeitsbereiche kon- 
nen dann in einem nachsten Schritt, namlich im Block 130 durch die Anwendung additi- 
ver Masken korrigiert werden. Die additiven Masken werden dazu bevorzugt aus dem 
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Grobbild berechnet, das sich aus der Anwendung der multiplikativen Masken (oder der 
multiplikativen Maske) im Block 120 ergibt. 

Die im Block 160 berechnete Grobmaske oder die berechneten Grobmasken werden 
dann bevorzugt durch Ausweitung im Block 520 in eine Maske mittlerer Auflosung, also 
mit mittlerer Elementzahl, transformiert. In einer weiteren Stufe, im Block 540, erfolgt 
dann eine nachste Ausweitung, die zu einer Korrekturmaske mit hoher Elementzahl 
fiihrt. Diese Korrekturmaske wird dann im Block 320 auf die zu korrigierenden Fein- 
bilddaten angewendet, die sich nach der Spreizung im Block 310 ergeben. 

In analoger Weise, wie bei der multiplikativen Maske, wird aus der additiven Maske in 
zwei Stufen, namlich im Block 530, eine Maske mittlerer Auflosung bestimmt und dann 
aus der Maske mittlerer Auflosung durch eine weitere Ausweitung im Block 550 eine 
Maske hoher Auflosung (Korrekturmaske) bestimmt. Diese Korrekturmaske, die auf der 
additiven Grobmaske basiert, wird dann im Block 330 auf die Bilddaten angewendet, die 
sich aus der Anwendung der multiplikativen Maske im Block 320 ergeben. 

Im folgenden wird die Spreizung erlautert, auf die sich die Blocke 110, 150 und 310 
beziehen. Der Block 150 betrifft die Berechnung dieser Spreizung. Der Block 110 be- 
trifft die Anwendung der Spreizung auf das Grobbild und der Block 310 betrifft die An- 
wendung der Spreizung auf das Bild hoher Auflosung. Die Spreizung im Block 310 er- 
folgt mit Hilfe einer Funktion, die im Block 150 ermittelt wurde. 

Warum eine derartige Spreizung vorzugsweise durchgefiihrt wird, wird im Folgenden 
erlautert. Dabei ist zu beachten, dass die Spreizung des Dynamikbereichs der Bilddaten 
in dem in Fig. 2 gezeigten Verarbeitungsprozess bei einem gewissen Abschnitt der Ver- 
arbeitung durchgefiihrt wird, und zwar nach Anwendung der Scharfung des Bildes. Die 
Spreizung kann auch an einer anderen Stelle erfolgen, beispielsweise zu Beginn des Ver- 
arbeitungsprozesses der Fig. 2, also vor der Scharfung. 

Bei der Aufnahme eines Digitalbildes kann es vorkommen, dass (infolge technischer 
Begrenzungen in der Kamera, falscher Einstellungen durch den Fotografen usw.) ein 
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generell unterbelichtetes Bild entsteht. In diesem Fall wird in alien drei Farben der zur 
Verfugung stehende Aussteuerungsbereich (beispielsweise 0 bis 255) nur ungenugend 
genutzt. Dadurch erscheint das Bild zu dunkel und zu flau. 

Amateuraufnahmen entstehen auch haufig unter ungunstigen Belichtungsbedingungen 
(Gliihlampenlicht, Neonlicht usw.). In solchen Fallen wird in mindestens einer der drei 
Farben der zur Verfugung stehende Aussteuerungsbereich nur ungenugend genutzt. Sol- 
che Bilder weisen einen storenden Farbstich auf. 



Solche Belichtungsfehler und Beleuchtungsfehler werden vorzugsweise schon am Anfang 
der Verarbeitungskette (das heifit vor der Anwendung der Korrekturmasken, wie z.B. 
die oben beschriebenen additiven Masken und multiplikativen Masken) korrigiert. 



f 
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Patentanspriiche 



1 . Verfahren zum Scharfen eines fotografischen Bildes mit einer Vielzahl von Bildeie- , 

i 

menten, bei welchem eine Scharfungs-Korrekturmaske aus den Bilddaten, die das zu schar- I 
fende Bild darstellen, bestimmt wird, wobei die Elemente der Scharfungs-Korrekmrmaske 
die lokale Anderung der Scharfe beschreiben und zur Bestimmung der Elemente neben einer 
Bildeigenschaft, insbesondere dem lokalen Kontrast zusatzliche, das Bild betreffende Infor- 
mation verwendet wird. 

i 

2. Verfahren nach Anspruch 1, bei welchem die zusatzliche Information mindestens 
eine lokale Bildeigenschaft, insbesondere der Farbton und/oder Farbsattigung und/oder der 
Farbkontrast ist, die jeweils lokal in der Nahe der Orte und/oder an den Orten gegeben ist, 
auf die sich die Elemente der Scharfungs-Korrekturmaske beziehen. 

3. Verfahren nach Anspruch 1 Oder 2, bei welchem die zusatzliche Information Bildin- 
halt-Information iiber den Bildinhalt ist. 

4. Verfahren nach Anspruch 3, bei welchem 1 die Bildinhalt-Information aus einer Ana- 
lyse der Bilddaten gewonnen wird und/oder Information ist, die den Bilddaten zugeordnet j 
ist und dem Korrekturverfahren neben den Bilddaten zur Verfugung stehen. 

5. Verfahren nach Anspruch 4 mit folgenden Schritten: 

eine Analyse der Bildes wird zur Bestimmung der Bildinhalt-Information durchge- 
fuhrt, urn mindestens einen charakteristischen Bildbereich, der eine Vielzahl Bildelemente 
umfasst, durch Analyse des zu korrigierenden Bildes oder eines daraus abgeleiteten Bildes 
zu erkennen; 

- dem mindestens einen, erkannten charakteristischen Bildbereich wird eine Sollscharfe 
oder Sollscharfenbereich zugeordnet und 



- die Anderung mittels der Scharfungs-Korrekturmaske erfolgt so, dass Elemente der Kor- 
rekturmaske, die sich auf Bildelemente beziehen, die in dem mindestens einem, erkann- 
ten charakteristischen Bildbereich enthalten sind, zumindest eine Annaherung der Schar- 
fe an die zugeordnete Sollscharfe oder den zugeordneten Sollscharfenbereich bewirken. 

6. Verfahren nach Anspruch 5, bei welchem aufgrund der Analyse ein Zugehorigkeits- 
maB bestimmt wird, das den Grad der Zugehorigkeit oder die Wahrscheinlichkeit der Zuge- 
horigkeit eines Bildelements zu einem charakteristischen Bildbereich festlegt und die Ande- 
rung der Scharfe sowohl unter Berucksichtigung der Sollscharfe oder des Sollscharfenbe- 
reichs als auch des den jeweiligen Bildelementen zugeordneten ZugehorigkeitsmaBes be- 
stimmt wird. 

' 7. Verfahren nach Anspruch 4, 5 oder 6, bei welchem die Bilddaten fur die Bildele- 
mente Farbwerte und Bildeigenschaften festlegen, die zumindest die Helligkeit und den 
Farbton umfassen, und 

wobei die Analyse der Bilddaten zur Bestimmung der Bildinhalt-Information folgen- 
des umfasst: 

eine Zuordnungsvorschrift wird bereitgestellt, die festlegt welcher Farbwert oder 
4 welche Farbwerte zu mindestens einem vorbestimmten charakteristischen Farb- 
wert gehort, wobei jedem des mindestens einen charakteristischen Farbwerts eine 
Sollscharfe oder ein Sollscharfenbereich zugeordnet ist; 

die Farbwerte in dem Bild werden basierend auf den zu scharfenden Bilddaten o- 
der auf Bilddaten, die von den zu scharfenden Bilddaten abgeleitet wurden, be- 
stimmt; und 

es wird bestimmt, ob die bestimmten Farbwerte zu einem des mindestens einen 
charakteristischen Farbwerts gehoren; und 
wobei die Bestimmung der Scharfungs-Korrekturmaske in Abhangigkeit von der 
Bildinhalt-Information folgendes umfasst: 

die Bestimmung der Elemente der Scharfungs-Korrekturmaske erfolgt in Abhan- 
gigkeit der Zugehorigkeit der Farbwerte zu einem des mindestens einen charakte- 
ristischen Farbwerts, wobei die Bestimmung unter Berucksichtigung der Soil- 



scharfe oder des Sollscharfenbereichs erfolgt, die dem charakteristischen Farb- 
wert zugeordnet ist. 

8. Verfahren nach Anspruch 4 bis 7, mit folgenden Schritten: 
eine Analyse des zu korrigierenden Bildes oder eines davon abgele'iteten Bildes wird 

durchgefuhrt, urn Ubergange zwischen Bildbereichen zu erkennen, die eine Vielzahl be- 
nachbarter Bildelemente umfassen und die eine unterschiedliche Strukturierung aufweisen; 

eine Bestimmung der Elemente der Scharfungs-Korrekturmaske erfolgt in Abhangig- 
keit davon, ob die Elemente sich auf die Ubergange beziehen oder nicht. 

9. Verfahren nach Anspruch 4, bei welchem die den Bilddaten zugeordnete Information 
sich auf die Position von Artefakten im Bild bezieht, wobei die Elemente der Scharfungs- 
Korrekturmaske in Abhangigkeit davon bestimmt werden, ob sie sich auf Positionen im Bild 
beziehen, wo Artefakte vorhanden sind oder nicht. 

10. Verfahren nach einem der vorhergehenden Anspriiche, bei dem basierend auf der 
lokalen Kontrastinformation eine Basis-Scharfungsmaske bestimmt wird, deren Elemente 
basierend auf zugeordneten Elementen einer Zusatzinformationsmaske korrigiert werden, 
um so die Scharfungs-Korrekturmaske zu erhalten, wobei die Zusatzinformationsmaske aus 
der zusatzlichen Information bestimmt wird. 

1 1 . Verfahren nach einem der vorhergehenden Anspriiche, mit folgenden Schritten: 
ein Bilddetailentfernungsverfahren wird auf die zu scharfenden Bilddaten angewen- 

det, so dass die daraus hervorgehenden Grobbilddaten ein Grobbild mit weniger Details als 
das zu scharfende Bild darstellen, wobei das Grobbild eine Vielzahl von Grobbildelemente 
aufweist; 

basierend auf der lokalen Kontrastinformation des Grobbildes wird eine Grobkor- 
rekturmaske bestimmt, die eine Korrektur der Scharfe des Grobbildes beschreibt, 

basierend auf der zusatzlichen Information werden die Elemente der Grobkorrektur- 
maske korrigiert, wobei die Scharfungs-Korrekturmaske der korrigierten Grobkorrektur- 
maske entspricht oder basierend auf ihr bestimmt wird. 



12. Vorrichtung zum Scharfen eines fotografischen Bildes mit einer Vielzahl von Bild- 
elementen, mit einer Korrektarmasken-Bestimmungseinheit, die eine Scharfungs-Korrektur- 
maske aus den Bilddaten, die das zu scharfende Bild darstellen, bestiramt, wobei die Ele- 
mente der Scharfungs-Korrekturmaske die lokale Anderung der Scharfe beschreiben, wobei 
die Korrekturmasken-Bestimmungseiriheit die Elemente basierend auf einer Bildeigenschaft 
und basierend auf zusatzlicher, das Bild betreffende Information bestimmt. 

13. Programm, das, wenn es in einem Computer geladen ist oder auf einem Computer 
lauft, den Computer veranlasst, das Verfahren nach einem der Anspruche 1 bis 11 durchzu- 
fuhren. 

14. Computerprogrammmedium, auf dem das Programm nach Anspruch 13 gespeichert 
ist. 

15. Bildausgabegerat, insbesondere fotografischer Printer oder Drucker oder fotografi- 
sches Labor, insbesondere Minilab, oder Monitor oder Computer mit Monitor mit einer 
Vorrichtung nach Anspruch 12 oder mit einer Steuereinrichtung, die das Verfahren nach 
einem der Anspruche 1 bis 1 1 durchfuhrt oder mit einem Computer, auf dem das Programm 
nach Anspruch 13 lauft oder in den dieses Programm geladen ist. 
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Zusammenfassung 

Verfahren zum Scharfen elnes fotografischen Bildes mit einer Vielzahl von Bildelementen, 
bei welchem eine Scharfungs-KorrekTurmaske aus den Bilddaten, die das zu scharfende Bild 
darstellen, bestimmt wird, wobei die Elemente der Scharfungs-Korrekturmaske den Grad 
der vorzunehmenden Kontrastanderung fur die einzelnen Bildelemente lokal beschreiben 
und zur Bestimmung der Elemente neben Information uber den lokalen Kontrast zusatzliche, 
das Bild betreffende Information verwendet wird. 
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